Is Deep Research Reliable? Misleading Knowledge Induces False Conclusions
深度研究可靠吗？误导性知识导致错误结论
🧭 Agent 可靠性评估与误导知识防御
Beijing University of Posts and Telecommunications · Shanghai Artificial Intelligence Laboratory · Chongqing University of Posts and Telecommunications
构建误导性知识评估框架，发现深度研究智能体易受虚假信息影响，错误结论采纳率高达54.7%
📌 工作参考价值（4 点）
- Agent 信息源验证设计：可借鉴 MisKnow-Agent 的误导文档构造方式（控制权威性、风格），评估搜索/推荐 Agent 在面对看似可信但错误信息时的鲁棒性，尤其适用于长周期市场分析、竞品调研等场景。
- 多阶段验证架构：论文表明预/后研究防御（如交叉模型验证）能减轻但无法消除错误采纳，启示在 RAG 或 Agent 流程中，需在证据进入中间状态时（如每次检索后）就进行实时验证与修正，而非仅依赖最终报告。
- 错误采纳率指标 (FCAR)：可直接复用 FCAR 作为系统脆弱性指标，量化注入误导信息后 Agent 输出错误结论的比例，指导防御策略的迭代优化。
- 权威性偏见干预：发现权威来源和正式风格的误导文档更易被采纳，在推荐或搜索 Agent 中可针对性设计去偏模块，如训练模型区分权威度与可信度，避免权威光环效应。